機器學習的數學基礎

機器學習的數學基礎 高等數學 線性代數 行列式 矩陣 向量 線性方程組 矩陣的特徵值和特徵向量 二次型 機率論和數理統計 隨機事件和機率 隨機變數及其機率分布 多維隨機變數及其分布 隨機變數的數字特徵 數理統計的基本概念

高等數學

1.導數定義:

導數和微分的概念

(1)

或者:

(2)

2.左右導數導數的幾何意義和物理意義

函數 處的左、右導數分別定義為:

左導數:

右導數:

3.函數的可導性與連續性之間的關係

Th1: 函數 處可微 處可導

Th2: 若函數在點 處可導,則 在點 處連續,反之則不成立。即函數連續不一定可導。

Th3: 存在

4.平面曲線的切線和法線

切線方程 : 法線方程:

5.四則運算法則 設函數 ]在點 可導則 (1) (2) (3)

6.基本導數與微分表 (1) (常數) (2) ( 為實數) (3) 特例:

(4)

特例:

(5)

(6)

(7)

(8) (9)

(10)

(11)

(12)

(13)

(14)

(15)

(16)

7.複合函數,反函數,隱函數以及參數方程所確定的函數的微分法

(1) 反函數的運算法則: 設 在點 的某鄰域內單調連續,在點 處可導且 ,則其反函數在點 所對應的 處可導,並且有 (2) 複合函數的運算法則:若 在點 可導,而 在對應點 ( )可導,則複合函數 在點 可導,且 (3) 隱函數導數 的求法一般有三種方法: 1)方程兩邊對 求導,要記住 的函數,則 的函數是 的複合函數.例如 等均是 的複合函數. 對 求導應按複合函數連鎖法則做. 2)公式法.由 ,其中, 分別表示 的偏導數 3)利用微分形式不變性

8.常用高階導數公式

(1) (2) (3) (4) (5) (6)萊布尼茲公式:若 階可導,則 ,其中

9.微分中值定理,泰勒公式

Th1:(費馬定理)

若函數 滿足條件: (1)函數 的某鄰域內有定義,並且在此鄰域內恆有 ,

(2) 處可導,則有

Th2:(羅爾定理)

設函數 滿足條件: (1)在閉區間 上連續;

(2)在 內可導;

(3)

則在 內一存在個 ,使 Th3: (拉格朗日中值定理)

設函數 滿足條件: (1)在 上連續;

(2)在 內可導;

則在 內一存在個 ,使

Th4: (柯西中值定理)

設函數 滿足條件: (1) 在 上連續;

(2) 在 內可導且 均存在,且

則在 內存在一個 ,使

10.洛必達法則 法則Ⅰ ( 型) 設函數 滿足條件: ;

的鄰域內可導,(在 處可除外)且 ;

存在(或 )。

則: 。 法則 ( 型)設函數 滿足條件: ;

存在一個 ,當 時, 可導,且 ; 存在(或 )。

則: 法則Ⅱ( 型) 設函數 滿足條件: ; 的鄰域內可導(在 處可除外)且 ; 存在(或 )。則 同理法則 ( 型)仿法則 可寫出。

11.泰勒公式

設函數 在點 處的某鄰域內具有 階導數,則對該鄰域內異於 的任意點 ,在 之間至少存在 一個 ,使得: 其中 稱為 在點 處的 階泰勒餘項。

,則 階泰勒公式 ……(1) 其中 在0與 之間.(1)式稱為麥克勞林公式

常用五種函數在 處的泰勒公式

(1)

(2)

(3)

(4)

(5)

12.函數單調性的判斷 Th1: 設函數 區間內可導,如果對 ,都有 (或 ),則函數 內是單調增加的(或單調減少)

Th2: (取極值的必要條件)設函數 處可導,且在 處取極值,則

Th3: (取極值的第一充分條件)設函數 的某一鄰域內可微,且 (或 處連續,但 不存在。) (1)若當 經過 時, 由“+”變“-”,則 為極大值; (2)若當 經過 時, 由“-”變“+”,則 為極小值; (3)若 經過 的兩側不變號,則 不是極值。

Th4: (取極值的第二充分條件)設 在點 處有 ,且 ,則 當 時, 為極大值; 當 時, 為極小值。 註:如果 ,此方法失效。

13.漸近線的求法 (1)水平漸近線 若 ,或 ,則

稱為函數 的水準漸近線。

(2)鉛直漸近線 若 ,或 ,則

稱為 的鉛直漸近線。

(3)斜漸近線 若 ,則 稱為 的斜漸近線。

14.函數凹凸性的判斷 Th1: (凹凸性的判別定理)若在I上 (或 ),則 在I上是凸的(或凹的)。

Th2: (拐點的判別定理1)若在 ,(或 不存在),當 變動經過 時, 變號,則 為拐點。

Th3: (拐點的判別定理2)設 點的某鄰域內有三階導數,且 ,則 為拐點。

15.弧微分

16.曲率

曲線 在點 處的曲率 。 對於參數方程

17.曲率半徑

曲線在點 處的曲率 與曲線在點 處的曲率半徑 有如下關係:

線性代數

行列式

1.行列式按行(列)展開定理

(1) 設 ,則:

其中:

(2) 設 階方陣,則 ,但 不一定成立。

(3) , 階方陣。

(4) 設 階方陣, (若 可逆),

(5) 為方陣,但

(6) 范德蒙行列式

階方陣, 個特徵值,則

矩陣

矩陣: 個數 排成 列的表格 稱為矩陣,簡記為 ,或者 。若 ,則稱 階矩陣或 階方陣。

矩陣的線性運算

1.矩陣的加法

是兩個 矩陣,則 矩陣 稱為矩陣 的和,記為

2.矩陣的數乘

矩陣, 是一個常數,則 矩陣 稱為數 與矩陣 的數乘,記為

3.矩陣的乘法

矩陣, 矩陣,那麼 矩陣 ,其中 稱為 的乘積,記為

4. 三者之間的關係

(1)

(2)

不一定成立。

(3)

不一定成立。

(4)

5.有關 的結論

(1)

(2)

(3) 若 可逆,則

(4) 若 階方陣,則:

6.有關 的結論

可逆

可以表示為初等矩陣的乘積;

7.有關矩陣秩的結論

(1) 秩 =行秩=列秩;

(2)

(3)

(4)

(5) 初等變換不改變矩陣的秩

(6) 特別若 則:

(7) 若 存在 存在

(8) 只有零解

8.分塊求逆公式

這裡 均為可逆方陣。

向量

1.有關向量組的線性表示

(1) 線性相關 至少有一個向量可以用其餘向量線性表示。

(2) 線性無關, 線性相關 可以由 唯一線性表示。

(3) 可以由 線性表示

2.有關向量組的線性相關性

(1)部分相關,整體相關;整體無關,部分無關.

(2) ① 維向量 線性無關 維向量 線性相關

維向量線性相關。

③ 若 線性無關,則添加分量後仍線性無關;或一組向量線性相關,去掉某些分量後仍線性相關。

3.有關向量組的線性表示

(1) 線性相關 至少有一個向量可以用其餘向量線性表示。

(2) 線性無關, 線性相關 可以由 唯一線性表示。

(3) 可以由 線性表示

4.向量組的秩與矩陣的秩之間的關係

,則 的秩 的行列向量組的線性相關性關係為:

(1) 若 ,則 的行向量組線性無關。

(2) 若 ,則 的行向量組線性相關。

(3) 若 ,則 的列向量組線性無關。

(4) 若 ,則 的列向量組線性相關。

5. 維向量空間的基變換公式及過渡矩陣

是向量空間 的兩組基,則基變換公式為:

其中 是可逆矩陣,稱為由基 到基 的過渡矩陣。

6.坐標變換公式

若向量 在基 與基 的坐標分別是

即: ,則向量坐標變換公式為 ,其中 是從基 到基 的過渡矩陣。

7.向量的內積

8.Schmidt正交化

線性無關,則可構造 使其兩兩正交,且 僅是 的線性組合 ,再把 單位化,記 ,則 是規範正交向量組。其中

............

9.正交基及規範正交基

向量空間一組基中的向量如果兩兩正交,就稱為正交基;若正交基中每個向量都是單位向量,就稱其為規範正交基。

線性方程組

1.克萊姆法則

線性方程組 ,如果係數行列式 ,則方程組有唯一解, ,其中 是把 中第 列元素換成方程組右端的常數列所得的行列式。

2. 階矩陣 可逆 只有零解。 總有唯一解,一般地, 只有零解。

3.非奇次線性方程組有解的充分必要條件,線性方程組解的性質和解的結構

(1) 設 矩陣,若 ,則對 而言必有 ,從而 有解。

(2) 設 的解,則 時仍為 的解;但當 時,則為 的解。特別 的解; 的解。

(3) 非齊次線性方程組 無解 不能由 的列向量 線性表示。

4.奇次線性方程組的基礎解系和通解,解空間,非奇次線性方程組的通解

(1) 齊次方程組 恆有解(必有零解)。當有非零解時,由於解向量的任意線性組合仍是該齊次方程組的解向量,因此 的全體解向量構成一個向量空間,稱為該方程組的解空間,解空間的維數是 ,解空間的一組基稱為齊次方程組的基礎解系。

(2) 的基礎解系,即:

1) 的解;

2) 線性無關;

3) 的任一解都可以由 線性表出. 的通解,其中 是任意常數。

矩陣的特徵值和特徵向量

1.矩陣的特徵值和特徵向量的概念及性質

(1) 設 的一個特徵值,則 有一個特徵值分別為 且對應特徵向量相同( 例外)。

(2)若 個特徵值,則 ,從而 沒有特徵值。

(3)設 個特徵值,對應特徵向量為

若: ,

則:

2.相似變換、相似矩陣的概念及性質

(1) 若 ,則

1)

2)

3) ,對 成立

3.矩陣可相似對角化的充分必要條件

(1)設 階方陣,則 可對角化 對每個 重根特徵值 ,有

(2) 設 可對角化,則由 ,從而

(3) 重要結論

1) 若 ,則 .

2) 若 ,則 ,其中 為關於 階方陣 的多項式。

3) 若 為可對角化矩陣,則其非零特徵值的個數(重根重複計算)=秩( )

4.實對稱矩陣的特徵值、特徵向量及相似對角陣

(1)相似矩陣:設 為兩個 階方陣,如果存在一個可逆矩陣 ,使得 成立,則稱矩陣 相似,記為

(2)相似矩陣的性質:如果 則有:

1)

2) (若 均可逆)

3) 為正整數)

4) ,從而 有相同的特徵值

5) ,從而 同時可逆或者不可逆

6) 秩 不一定相似

二次型

1. 個變數 的二次齊次函數

,其中 ,稱為 元二次型,簡稱二次型. 若令 ,這二次型 可改寫成矩陣向量形式 。其中 稱為二次型矩陣,因為 ,所以二次型矩陣均為對稱矩陣,且二次型與對稱矩陣一一對應,並把矩陣 的秩稱為二次型的秩。

2.慣性定理,二次型的標準形和規範形

(1) 慣性定理

對於任一二次型,不論選取怎樣的契約變換使它化為僅含平方項的標準型,其正負慣性指數與所選變換無關,這就是所謂的慣性定理。

(2) 標準形

二次型 經過契約變換 化為

稱為 的標準形。在一般的數域內,二次型的標準形不是唯一的,與所作的契約變換有關,但係數不為零的平方項的個數由 唯一確定。

(3) 規範形

任一實二次型 都可經過契約變換化為規範形 ,其中 的秩, 為正慣性指數, 為負慣性指數,且規範型唯一。

3.用正交變換和配方法化二次型為標準形,二次型及其矩陣的正定性

正定 正定; , 可逆; ,且

正定 正定,但 不一定正定

正定

的各階順序主子式全大於零

的所有特徵值大於零

的正慣性指數為

存在可逆陣 使

存在正交矩陣 ,使

其中 正定 正定; 可逆; ,且

機率論和數理統計

隨機事件和機率

1.事件的關係與運算

(1) 子事件: ,若 發生,則 發生。

(2) 相等事件: ,即 ,且

(3) 和事件: (或 ), 中至少有一個發生。

(4) 差事件: 發生但 不發生。

(5) 積事件: (或 ), 同時發生。

(6) 互斥事件(互不相容): =

(7) 互逆事件(對立事件): 2.運算律 (1) 交換律: (2) 結合律: (3) 分配律: 3.德 摩根律

4.完全事件組

兩兩互斥,且和事件為必然事件,即

5.機率的基本公式 (1)條件機率: ,表示 發生的條件下, 發生的機率。 (2)全機率公式: (3) Bayes公式:

註:上述公式中事件 的個數可為可列個。 (4)乘法公式:

6.事件的獨立性 (1) 相互獨立 (2) 兩兩獨立 ; ; ; (3) 相互獨立 ; ; ;

7.獨立重複試驗

將某試驗獨立重複 次,若每次實驗中事件A發生的機率為 ,則 次試驗中 發生 次的機率為: 8.重要公式與結論 (5)條件機率 滿足機率的所有性質, 例如:. (6)若 相互獨立,則 (7)互斥、互逆與獨立性之間的關係: 互逆 互斥,但反之不成立, 互斥(或互逆)且均非零機率事件 不獨立. (8)若 相互獨立,則 也相互獨立,其中 分別表示對相應事件做任意事件運算後所得的事件,另外,機率為1(或0)的事件與任何事件相互獨立.

 

隨機變數及其機率分布

1.隨機變數及機率分布

取值帶有隨機性的變數,嚴格地說是定義在樣本空間上,取值於實數的函數稱為隨機變數,機率分布通常指分布函數或分布律

2.分布函數的概念與性質

定義:

性質:(1)

(2) 單調不減

(3) 右連續

(4)

3.離散型隨機變數的機率分布

4.連續型隨機變數的機率密度

機率密度 ;非負可積,且:

(1)

(2)

(3) 的連續點,則:

分布函數

5.常見分布

(1) 0-1分布:

(2) 二項分布:

(3) Poisson分布:

(4) 均勻分布

(5) 正態分布:

(6)指數分布:

(7)幾何分布:

(8)超幾何分布:

6.隨機變數函數的機率分布

(1)離散型:

則:

(2)連續型:

則:

7.重要公式與結論

(1)

(2)

(3)

(4)

(5) 離散型隨機變數的分布函數為階梯間斷函數;連續型隨機變數的分布函數為連續函數,但不一定為處處可導函數。

(6) 存在既非離散也非連續型隨機變數。

多維隨機變數及其分布

1.二維隨機變數及其聯合分布

由兩個隨機變數構成的隨機向量 , 聯合分布為

2.二維離散型隨機變數的分布

(1) 聯合機率分布律

(2) 邊緣分布律

(3) 條件分布律

3. 二維連續性隨機變數的密度

(1) 聯合機率密度

1)

2)

(2) 分布函數:

(3) 邊緣機率密度:

(4) 條件機率密度:

4.常見二維隨機變數的聯合分布

(1) 二維均勻分布: ,

(2) 二維正態分布: ,

5.隨機變數的獨立性和相關性

的相互獨立: :

(離散型) (連續型)

的相關性:

相關係數 時,稱 不相關, 否則稱 相關

6.兩個隨機變數簡單函數的機率分布

離散型: 則:

連續型: 則:

7.重要公式與結論

(1) 邊緣密度公式:

(2)

(3) 若 服從二維正態分布 則有:

1)

2) 相互獨立 ,即 不相關。

3)

4) 關於 的條件分布為:

5) 關於 的條件分布為:

(4) 若 獨立,且分別服從 則:

(5) 若 相互獨立, 為連續函數, 則 也相互獨立。

隨機變數的數字特徵

1.數學期望

離散型:

連續型:

性質:

(1)

(2)

(3) 若 獨立,則

(4)

2.方差

3.標準差

4.離散型:

5.連續型:

性質:

(1)

(2) 相互獨立,則

(3)

(4) 一般有

(5)

(6)

6.隨機變數函數的數學期望

(1) 對於函數

為離散型:

為連續型:

(2) ; ; ;

7.協方差

8.相關係數

, 階原點矩 ; 階中心矩

性質:

(1)

(2)

(3)

(4)

(5) ,其中

,其中

9.重要公式與結論

(1)

(2)

(3) ,其中

,其中

(4) 下面5個條件互為充要條件:

註: 獨立為上述5個條件中任何一個成立的充分條件,但非必要條件。

數理統計的基本概念

1.基本概念

總體:研究對象的全體,它是一個隨機變數,用 表示。

個體:組成總體的每個基本元素。

簡單隨機樣本:來自總體 個相互獨立且與總體同分布的隨機變數 ,稱為容量為 的簡單隨機樣本,簡稱樣本。

統計量:設 是來自總體 的一個樣本, )是樣本的連續函數,且 中不含任何未知參數,則稱 為統計量。

樣本均值:

樣本方差:

樣本矩:樣本 階原點矩:

樣本 階中心矩:

2.分布

分布: ,其中 相互獨立,且同服從

分布: ,其中 相互獨立。

分布: ,其中 相互獨立。

分位數:若 則稱 分位數

3.正態總體的常用樣本分布

(1) 設 為來自正態總體 的樣本,

則:

1) 或者

2)

3)

4)

4.重要公式與結論

(1) 對於 ,有

(2) 對於 ,有

(3) 對於 ,有

(4) 對於任意總體 ,有